# -*- coding: utf-8 -*-
import re

import openai
import json

def filter_tags(htmlstr):
    # 过滤DOCTYPE
    htmlstr = ' '.join(htmlstr.split()) # 去掉多余的空格
    re_doctype = re.compile(r'<!DOCTYPE .*?> ', re.S)
    s = re_doctype.sub('',htmlstr)
    # 过滤CDATA
    re_cdata = re.compile('//<!CDATA\[[ >]∗ //\] > ', re.I)
    s = re_cdata.sub('', s)
    # Script
    re_script = re.compile('<\s*script[^>]*>[^<]*<\s*/\s*script\s*>', re.I)
    s = re_script.sub('', s)  # 去掉SCRIPT
    # style
    re_style = re.compile('<\s*style[^>]*>[^<]*<\s*/\s*style\s*>', re.I)
    s = re_style.sub('', s)  # 去掉style
    # 处理换行
    re_br = re.compile('<br\s*?/?>')
    s = re_br.sub('', s)     # 将br转换为换行
    # HTML标签
    re_h = re.compile('</?\w+[^>]*>')
    s = re_h.sub('', s)  # 去掉HTML 标签
    # HTML注释
    re_comment = re.compile('<!--[^>]*-->')
    s = re_comment.sub('', s)
    # 多余的空行
    blank_line = re.compile('\n+')
    s = blank_line.sub('', s)
    # 剔除超链接
    http_link = re.compile(r'(http://.+.html)')
    s = http_link.sub('', s)
    return s

if __name__ == '__main__':
    # 正则清洗字符串
    str_doc = "首页\n精华\n行情\n交易\n\n\t\n下载App登录/注册\n公司概况\n公司简介\n公司高管\nIPO文件\n股权信息\n股本结构\n十大股东\n十大流通股东\n基金持股\n高管增减持\n股东人数\n限售解禁\n股票交易\n成交明细\n分价表\n大单统计\n大宗交易\n龙虎榜数据\n融资融券\n公司公告\n最新公告\n年度报告\n公司运作\n股东大会\n收入构成\n重大事项\n分红送配\n增发一览\n内部交易\nIR活动记录\n财务数据\n业绩预告\n主要指标\n利润表\n资产负债表\n现金流量表\n所有者权益变动\n雪球选股器\n研究分析\n杜邦分析\n研究报告\nAPP专享\n大盘异动\n股价提醒\n购买指数\n相关ETF\n博元投资(SH:600656)\n自选\n4.49\n-- --\n退市\n 5438 球友关注\n最高：--\t今开：--\t涨停：--\t成交量：--\n最低：--\t昨收：4.49\t跌停：--\t成交额：--\n量比：--\t换手：--\t市盈率(动)：亏损\t市盈率(TTM)：亏损\n委比：0.00%\t振幅：--\t市盈率(静)：亏损\t市净率：--\n每股收益：-0.07\t股息(TTM)：0.00\t总股本：1.90亿\t总市值：8.55亿\n每股净资产：--\t股息率(TTM)：0.00%\t流通股：1.90亿\t流通值：8.55亿\n52周最高：--\t52周最低：--\t注册制：--\t货币单位：--\n分时五日日K周K月K季K年K120分60分30分15分5分1分\n区间统计全屏显示\n手机版沪深Lv2行情\n$博元投资(SH600656)$\n悬赏长文\n全部讨论交易资讯公告\n新帖热帖\n\n\n简介\n亚美控股集团股份有限公司主营业务是企业总部管理，以自有资金从事投资活动；软件开发、物联网技术研发、技术推广与技术服务;数据服务；智...展开\n业务\n企业总部管理，以自有资金从事投资活动；软件开发、物联网技术研发、技术推广与技术服务;数据服务；智能车载设备制造与销售业务。\n官方账号\n基金经理\n声明\n雪球实时上交所行情数据由上证所信息网络有限公司提供，雪球已获得《上证所Level-1行情经营许可证》\n合同编号：L12011160\n刷刷雪球再下单\n常见问题\n加入我们\n关于雪球\n风险提示：雪球里任何用户或者嘉宾的发言，都有其特定立场，投资决策需要建立在独立思考之上\nA 股开户\n雪球基金\n私募中心\n互联网违法和不良信息投诉：01061840634 / tousu@xueqiu.com 违法(含侵权)及不良信息投诉指引雪球服务协议雪球隐私政策\n© 2023 XUEQIU.COM北京雪球信息科技有限公司京公网安备 11010502040379号京ICP证100666号京ICP备10040543京金信备〔2022〕3号营业执照\n证券业协会会员单位（代码817027）广播电视节目制作经营许可证: (京)字第08638号互联网药品信息服务资格证书 （京）-非经营性-2020-0055出版物经营许可证\n\n\n\n\n验证码登录/注册账号密码登录二维码登录\n忘记密码\n下次自动登录\n海外手机号登录\n安全控件加载中   \n注册/登录 即代表同意  雪球服务协议 & 雪球隐私政策\n第三方登录"
    word_list = filter_tags(str_doc)
    print(word_list)
